# 给BERT用的
# step1_train configuration
BATCHSIZE = 24
LR = 1e-5
EPOCH = 40
# DEVICE = "cuda:2" DDP
MAXLEN = 256
RANDSEED = 24601
MODELNAME = "step1train_mlm2"
# MODE = "cls"  # pooling, cls, mask 二分类使用哪种方法
ISHARDMING = False
HARDMINING_RATE = 1.  # 表示当前样本的loss大于最佳开发集loss的这些倍时，认为是困难样本
HARDMINING_ROUND = 5  # 表示每过多少个epoch进行一次简单样本去除
HARDMINING_NUM = 0.7  # 表示最终要从训练集中采样占多少比例的困难样本
